Năm 1886, thực dân Pháp thành lập tỉnh Mường, lỵ sở đặt tại Chợ Bờ (thuộc châu Đà Bắc). Ngày 29 tháng 11 năm 1886, Tổng sứ Trung - Bắc Kỳ ra quyết định chuyển tỉnh lỵ về Phương Lâm (trước đó thuộc huyện Bất Bạt, phủ Quốc Oai, tỉnh Sơn Tây), tuy nhiên ít lâu sau lại chuyển về Chợ Bờ.[7]

Ngày 18 tháng 3 năm 1891, Toàn quyền Đông Dương ban hành nghị định chuyển tỉnh lỵ tỉnh Mường về làng Vĩnh Diệu, xã Hòa Bình (nằm ở tả ngạn sông Đà, đối diện với Phương Lâm).

Đến ngày 5 tháng 9 năm 1896, tỉnh lỵ chính thức được chuyển về xã Hòa Bình và từ đó tỉnh Mường cũng chính thức đổi tên thành tỉnh Hòa Bình.[7]

Sau năm 1975, thị xã Hòa Bình thuộc tỉnh Hà Sơn Bình, gồm 6 phường: Chăm Mát, Đồng Tiến, Hữu Nghị, Phương Lâm, Tân Hòa, Tân Thịnh.

Ngày 3 tháng 8 năm 1978, chuyển 2 xã Hòa Bình và Thịnh Lang thuộc huyện Kỳ Sơn về thị xã Hòa Bình quản lý.[8]

Ngày 11 tháng 11 năm 1983, chuyển xã Thái Bình thuộc huyện Kỳ Sơn về thị xã Hòa Bình quản lý.[9]

Ngày 24 tháng 4 năm 1988, chuyển 4 xã: Dân Chủ, Sủ Ngòi, Thống Nhất, Yên Mông thuộc huyện Kỳ Sơn về thị xã Hòa Bình quản lý.[10]

Ngày 26 tháng 12 năm 1990, thành lập xã Thái Thịnh trên cơ sở điều chỉnh một phần diện tích và dân số của các xã Thái Bình và Thịnh Lang.

Ngày 12 tháng 8 năm 1991, tỉnh Hòa Bình được tái lập từ tỉnh Hà Sơn Bình cũ, thị xã Hòa Bình trở lại là tỉnh lỵ tỉnh Hòa Bình.[11]

Ngày 22 tháng 10 năm 2002, chuyển 2 xã Thái Bình và Thịnh Lang thành 2 phường có tên tương ứng.[12]

Ngày 4 tháng 11 năm 2005, thị xã Hòa Bình được công nhận là đô thị loại III.[2]

Ngày 27 tháng 10 năm 2006, Chính phủ ban hành Nghị định 126/2006/NĐ-CP, thành lập thành phố Hòa Bình trên cơ sở toàn bộ diện tích và dân số của thị xã Hòa Bình.[1]

Ngày 14 tháng 7 năm 2009, chuyển xã Trung Minh thuộc huyện Kỳ Sơn về thành phố Hòa Bình quản lý.[13]

Đến cuối năm 2018, thành phố Hòa Bình có 15 đơn vị hành chính cấp xã trực thuộc, gồm 8 phường: Chăm Mát, Đồng Tiến, Hữu Nghị, Phương Lâm, Tân Hòa, Tân Thịnh, Thái Bình, Thịnh Lang và 7 xã: Dân Chủ, Hòa Bình, Sủ Ngòi, Thái Thịnh, Thống Nhất, Trung Minh, Yên Mông.

Ngày 17 tháng 12 năm 2019, Ủy ban Thường vụ Quốc hội thông qua Nghị quyết số 830/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp huyện, cấp xã thuộc tỉnh Hòa Bình[5]. Theo đó:

• Sáp nhập toàn bộ 204,92 km² diện tích tự nhiên và 34.044 người của huyện Kỳ Sơn (gồm thị trấn Kỳ Sơn và 9 xã: Dân Hạ, Dân Hòa, Độc Lập, Hợp Thành, Hợp Thịnh, Mông Hóa, Phú Minh, Phúc Tiến, Yên Quang) vào thành phố Hòa Bình
• Sáp nhập một phần diện tích và dân số của phường Chăm Mát vào xã Dân Chủ để thành lập phường Dân Chủ
• Sáp nhập phần diện tích và dân số còn lại của phường Chăm Mát vào xã Thống Nhất để thành lập phường Thống Nhất
• Sáp nhập một phần diện tích và dân số của xã Dân Hạ vào thị trấn Kỳ Sơn để thành lập phường Kỳ Sơn
• Giải thể xã Thái Thịnh, địa bàn nhập vào phường Thái Bình và xã Hòa Bình
• Sáp nhập phần diện tích và dân số còn lại của xã Dân Hạ vào xã Độc Lập
• Sáp nhập xã Dân Hòa vào xã Mông Hóa
• Hợp nhất hai xã Phúc Tiến và Yên Quang thành xã Quang Tiến
• Hợp nhất hai xã Hợp Thịnh và Phú Minh thành xã Thịnh Minh.

Thành phố Hòa Bình có 10 phường và 9 xã như hiện nay.